package edu.ycu.aladdin.collector.weibo;

import lombok.extern.slf4j.Slf4j;
import us.codecraft.webmagic.Page;
import us.codecraft.webmagic.processor.PageProcessor;
import us.codecraft.webmagic.selector.Json;

/**
 * 微博概览数据爬取,可以获取到某个用户微博数量，每一条微博地址等信息.
 * 注意: 获取数据中page数量与实际情况不一致,不可作为任务栈参数.(猜测为反爬虫策略)
 * <p>
 * 爬取数据从最新数据开始爬取.到达截止日期停止.
 * 爬取出的微博详情url置入redis由{@link WeiBoContentProcessor}爬取及解析.
 *
 * @author <a href="mailto:wangruihuan@gmail.com">王瑞环</a>
 * @since 1.0
 */
@Slf4j
public abstract class WeiBoDataProcessor implements PageProcessor {

    @Override
    public void process(Page page) {

        // json数据,样例数据在 data/news/example/weibo_page_data.json
        Json json = page.getJson();

        log.info("page json:",json);
//        final JSONObject object = JSON.parseObject(json.toString());
//        final JSONObject data = object.getJSONObject("data");
//        final JSONArray cards = data.getJSONArray("cards");
//
//
//        for (int i = 0, len = cards.size(); i < len; i++) {
//            JSONObject card = (JSONObject) cards.get(i);
//
//            JSONObject mblog = card.getJSONObject("mblog");
//            String created_at = mblog.getString("created_at");
//
//            if (created_at.contains(DEAD_LINE)) {
//                return;
//            } else {
//                String scheme = card.getString("scheme");
//                redisTemplate.opsForSet().add("weibo", scheme);
//                pageNum++;
////                page.addTargetRequest(config.replaceParams(uid,containerid,pageNum));
//            }
//        }

    }
}